ONNXRUNTIME

原标题：ONNXRUNTIME | Faster-RCNN ONNX模型在C++与Python推理不一致原因找到了

onnxruntime 推理python与c++支持

现象

最近用torchvision中的Faster-RCNN训练了一个自定义无人机跟鸟类检测器，然后导出ONNX格式，Python下面运行效果良好！显示如下：

然后我就想把这个ONNXRUNTIME部署成C++版本的，我先测试了torchvision的预训练模型Faster-RCNN转行为ONNX格式。然后针对测试图像，代码与测试效果如下：

transform = torchvision.transforms.Compose([torchvision.transforms.ToTensor])

sess_options = ort.SessionOptions

# Below is for optimizing performance

sess_options.intra_op_num_threads = 24

# sess_options.execution_mode = ort.ExecutionMode.ORT_PARALLEL

sess_options.graph_optimization_level = ort.GraphOptimizationLevel.ORT_ENABLE_ALL

ort_session = ort.InferenceSession( "faster_rcnn.onnx", sess_options=sess_options)

src = cv.imread( "D:/images/cars.jpg")

image = cv.cvtColor(src, cv.COLOR_BGR2RGB)

blob = transform(image)

c, h, w = blob.shape

input_x = blob.view( 1, c, h, w)

defto_numpy(tensor):

returntensor.detach.cpu.numpy iftensor.requires_grad elsetensor.cpu.numpy

# compute ONNX Runtime output prediction

ort_inputs = {ort_session.get_inputs[ 0].name: to_numpy(input_x)}

ort_outs = ort_session.run( None, ort_inputs)

boxes = ort_outs[ 0] # boxes

labels = ort_outs[ 1] # labels

scores = ort_outs[ 2] # scores

print(boxes.shape, boxes.dtype, labels.shape, labels.dtype, scores.shape, scores.dtype)

index = 0

forx1, y1, x2, y2 inboxes:

ifscores[index] > 0.5:

cv.rectangle(src, (np.int32(x1), np.int32(y1)),

(np.int32(x2), np.int32(y2)), ( 0, 255, 255), 1, 8, 0)

label_id = labels[index]

label_txt = coco_names[str(label_id)]

cv.putText(src, label_txt, (np.int32(x1), np.int32(y1)), cv.FONT_HERSHEY_PLAIN, 1.0, ( 0, 0, 255), 1)

index += 1

cv.imshow( "Faster-RCNN Detection Demo", src)

cv.waitKey( 0)

cv.destroyAllWindows

运行结果如下：

然后我把python代码转行为C++的代码，运行结果如下：

发现很多类型都变成 background类型 了，就是类型预测错误了！C++与Python推理使用的label-map文件完全一致，我晕了！

原因与修改

我仔细核对了两边预测输出三个层分别是boxes、labels、scores、解析顺序都没有错！然后我把python中输出三个层数据类型打印出来如下：

输出打印结果如下：

可以证明：

而我在ONNXRUNTIME C++获取输出的语句如下：

直接用 int类型而不是int64 获取labels数据了，我立刻意识到是因为数据类型不一致导致的内存错误，我知道OpenCV中有个数据类型是int64，于是我把第一行代码改成：

发现OpenCV Mat没有支持int64的，无法创建这样的Mat对象！

所以我放弃了，直接读取数组，代码如下：